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(57) Abstract 

The invention relates to a system and a method for processing 
documentation, in particular for technical and industrial applications 
which comprises storage elements (1) for saving documentation data 
(II. .In) on several levels (El. .Em), input elements (2) for inputting real 
information (R), access elements for accessing the documentation data 
(II. .In) and evaluation elements (A) for evaluating the real information 
(R) and for selecting the saved documentation data, based on said real 
information (R). Said system and method enable, for example, in situ 
service applications, that is for example, at an automation installation, 
to access documentation data in a structured and selective manner by 
integrating documentation data (II -In) as augmented reality. 

(57) Zusammenfassung 

Die Erfindung betrifft ein System und ein Verfahren zur Doku- 
mentationsverarbeitung, insbesondere for technische und industrielle 
Anwendungen mit Speichermitteln (I) zur Speicherung von Doku- 
mentationsdaten (II. .In) in mehreren Ebenen (El. .Em) und mit Erfas- 
sungsmitteln (2) zur Erfassung von realen Informationen (R), mit Zu- 
griffsmitteln zum Zugriff auf die Dokumentationsdaten (II ..In) und mit 

Auswertemitteln (A) zur Auswertung der realen Information (R) und zur Auswahl der gespeicherten Dokumentationsdaten in Abhangigkeit 
der realen Informationen (R). Hierdurch wind beispielsweise fur Serviceanwendungen vor Ort, d.h. beispielsweise am Ort einer Automa- 
tisierungsanlage durch die Einbindung der Dokumentationsdaten (II. .In) als Augmented-Reality ein strukturierter und selektiver Zugriff auf 
die Dokumentationsdaten ermdglicht. 
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Beschreibung 

System und Verfahren zur Dokumentationsverarbeitung mit mehr- 
schichtiger Strukturierung von Inf ormationen, insbesondere 
5 fur technische und industrielle Anwendungen 

Die Erfindung betrifft ein System und ein Verfahren zur Doku- 
mentationsverarbeitung insbesondere fur technische und indu- 
strielle Anwendungen. 

10 

Ein derartiges System und Verfahren kommt beispielsweise im 
Zusammenhang mit sogenannten Augmented-Reality-Techniken zum 
Einsatz. Dabei geht es urn eine anwendungsorientierte Anforde- 
rungsanalyse und Entwicklung von AR-basierten Systemen zur 
15 Unterstutzung von Arbeitsprozessen in Entwicklung, Produktion 
und Service komplexer technischer Produkte und Anlagen in der 
Fertigungs- und Verf ahrenstechnik, sowie fur Systeme zur Ser- 
viceunterstutzung wie bei Kraf tf ahrzeugen oder fur die War- 
tung beliebiger technischer Gerate. 

20 Der Erfindung liegt die Aufgabe zugrunde, ein System und ein 
Verfahren anzugeben ,' das einen situationsgerechten schnellen 
Zugriff auf gespeicherte Dokumenationsdaten erm6glicht. 

Diese Aufgabe wird durch ein System zur Dokumentationsverar- 
beitung insbesondere fur technische und industrielle Anwen- 

25 dungen gelost, mit Speichermitteln zur Speicherung von Doku- 
mentationsdaten in mehreren Ebenen und mit Erf assungsmitteln 
zur Erfassung von realen Inf ormationen, mit Zugrif f smitteln 
zum Zugriff auf die Dokumentationsdaten und mit Auswertemit- 
teln zur Auswertung der realen Information und zur Auswahl 

3 0 der gespeicherten Dokumentationsdaten in Abhangigkeit der 
realen Inf ormationen . 

Diese Aufgabe wird durch ein Verfahren zur Dokumentationsver- 
arbeitung insbesondere fur technische und industrielle Anwen- 
35 dungen gelost, bei dem Dokumentationsdaten in mehreren Ebenen 
gespeichert werden und reale Inf ormationen mit Erf assungsmit- 
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teln erfaSt werden, bei dem auf die Dokumentationsdaten in 
der Weise zugegriffen wird, da& die realen Inf ormationen aus- 
gewertet werden und in Abhangigkeit der realen Inf ormationen 
die gespeicherten Dokumentationsdaten ausgewahlt werden. 

5 

Bei den Dokumentationsdaten kann es sich beispielsweise urn 
bei der Errichtung einer Anlage oder eines Automatisierungs- 
systems erstellte und gesammelte Daten und/oder auch im Be- 
trieb einer Anlage oder eines Automatisierungssystems nach 

10 vorgebbaren Kriterien gepflegte und jeweils aktualisierte Do- 
kumentationsdaten handeln. Diese Dokumentationsdaten konnen 
auf Speichermittel gespeichert sein, die sowohl lokal, d.h. 
am Ort der jeweiligen Anwendung oder auch an jeden beliebig 
anderen Ort, beispielsweise am Ort der jeweiligen Hers teller- 

15 firmen der einzelnen Anlagenkomponenten, gespeichert werden. 
Mit Hilfe der Erf assungsmittel werden beispielsweise aus ei- 
nem Bildinhalt die realen Inf ormationen erfaSt und iiber die 
Auswertemittel ausgewertet, so da£ eine Zuordnung der realen 
Objekte zu in den Dokumentationsdaten gespeicherten Objektda- 

20 ten moglich wird. Anhand der realen Inf ormationsdaten, bei- 
spielsweise in Form eines detektierten Objekts werden dann 
insbesondere automatisch die zusatzlichen in dem Dokumenta- 
tionsdaten enthaltenen Objektdaten ausgewahlt und beispiels- 
weise far Servicezwecke vor Ort zur Verfugung gestellt. Hier- 

25 durch wird ein situationsgerechter schneller Zugang zu den 
jeweils benotigten Daten ermoglicht. 

Eine komponentenorientierte Unterstiitzung durch die gespei- 
cherten Dokumentationsdaten kann dadurch sichergestellt wer- 
3 0 den, dafc die Dokumentationsdaten objektorientiert gespeichert 
sind. Als reales Objekt wird beispielsweise ein Tank einer 
Anlage erfaSt und identif iziert , wobei die diesem Objekt 
„Tank w zugeordneten Dokumentationsdaten, bespielsweise Bau- 
jahr, Fassungsvermogen, etc. visualisiert werden. 

35 

Ein schneller situationsgerechter Zugang zu den Dokumenta- 
tionsdaten wird dadurch weiter untersttitzt , daS die Erf as- 
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sungsmittel eine Bildauf nahmevorrichtung aufweisen, da& die 
Auswertemittel zur Auswertung .der realen Information in der 
Weise vorgesehen sind, da£ aus der realen Information ein 
Eisatzkontext , insbesondere ein Objekt der Dokumentationsda- 
5 ten ermittelt wird und daS das System Visual isierungsmittel 
zur Visualisierung der Dokumentationsdaten aufweist. 

Ein anwendergesteuerter Zugriff auf die Dokumentationsdaten 
kann dadurch erzielt werden, daft die Erf as sungsmittel anwen- 
10 dergesteuert sind und insbesondere als sprachgesteuerte Er- 
f assungsmittel und/oder durch Steuerdaten gesteuerte Erfas- 
sungsmittel ausgebildet sind. 

Ein fur viele Anwendungsf alle optimaler Einsatz von Augemted- 
15 Reality-Techniken auf Basis der gespeicherten Dokumentations- 
daten kann in der Weise erfolgen, daft die Erf assungsmittel 
und/oder die Visualisierungsmittel als Datenbrille ausgebil- 
det sind. 

2 0 Im folgenden wird die Erfindung anhand der in den Figuren 

dargestellten Ausf ahrungsbeispiele naher beschrieben und er- 
lautert . 

Es zeigen: 



25 



FIG 1 



ein Blockschaltbild eines Ausf ilhrungsbeispiels ei- 
nes Systems zur Dokumen tat ions verarbeitung, 



FIG 2 



ein Anwendungsbeispiel eines Systems zur Dokumenta- 
tionsverarbeitung f\ir Service und Wartung und 



FIG 3 



ein Anwendungsbeispiel fur einen situationsgerech- 
ten Zugriff auf Dokumentationsdaten. 



35 



Figur 1 zeigt ein Blockschaltbild eines Systems zur struktu- 
rierten Dokumentationsverarbeitung unter Zuhilfenahme von 
auch Augmented-Reality-Techniken. Das System umfafet Speicher- 
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mittel 1 zur Speicherung von Dokumentationsdaten II.. In. Die 
Dokumentationsdaten II.. In sind in mehreren Ebenen El.. Em ge- 
speichert. ttber eine Datenverbindung D sind die Speichermit- 
tel 1 mit Auswertemitteln A koppelbar, wobei die Auswertemit- 
5 tel A mit Erf assungsmitteln 2 und Visualisierungsmitteln kop- 
pelbar sind. Die Erf assungsmittel 2 sind bei den in Figur 1 
dargestellten Ausf iihrungsbeispiel als Kamera und die Visua- 
lisierungsmittel B als Bildschirm dargestellt. Bei einer an- 
deren Ausfuhrungsf orm kann es sich bei den Erf assungsmitteln 
10 2 und den Visualisierungsmitteln B jedoch auch urn eine Daten- 
brille mit integrierter Videokamera handeln. Die Erf assungs- 
mittel 2 dienen zur Erfassung von realen Inf ormationen R, 
beispielsweise von einzelnen Komponenten einer industriellen 
Anlage und/oder einer Automatisierungsanlage . 

15 

Figur 1 bildet die Grundstruktur eines Systems zur Dokumen- 
tationsverarbeitung unter Anwendung von Augmented-Reality- 
Techniken mit in verschiedenen Ebenen gespeicherten Dokumen- 
tationsdaten II.. In. Ein Anwendungsszenario sieht dabei fol- 

20 gendermafien aus : Mit Hilfe der Erf assungsmittel 2 werden 

reale Inf ormationen, beispielsweise eine Anlage in Form von 
Bildinf ormationen erf a£t . Diese realen Inf ormationen R werden 
mit Hilfe der Auswertemittel A dahingehend ausgewertet, ein- 
zelne Objekte, d.h. beispielsweise einzelne Komponenten eines 

25 Automatisierungssys terns zu detektieren. Dies kann beispiels- 
weise in Form von an den realen Objekten angebrachten Zusatz- 
inf ormationen, beispielsweise durch Bar-Code-Auf kleber er- 
folgen oder durch Vergleich der Bildinf ormationen mit in den 
Auswertemitteln A und/oder den Dokumentationsdaten 1 gespei- 

30 cherten Vergleichsdaten. Nach Ermittlung eines gewunschten 

Objekts, welches mit der realen Information R korrespondiert , 
werden automat isch und/oder vom Anwender gesteuert die in 
mehreren Ebenen El.. Em gespeicherten Dokumentationsdaten auf- 
gerufen und iiber die Visualisierungsmittel B dem Anwender 7 

35 mit Hilfe der Visualisierungsmittel B dargestellt. Diese Do- 
kumentationsdaten II.. In bilden eine Zusatzinf ormation, die 
den Anwender 7 beispielsweise bei der Reparatur, bei der War- 
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tung, etc. unterstatzen . Er enthalt einen situationsgerechten 
schnellen Zugriff auf die jeweils benotigten Daten. Die Do- 
kumentationsdaten II . . In konnen dabei entweder vor Ort bei- 
spielsweise auf einer Datenverarbeitungsvorrichtung gespei- 
5 chert sein oder auch an entfernten Orten, wobei in diesem 

Fall ein Zugriff auf die Inf ormationsdaten II . . In beispiels- 
weise iiber Internetanbindung erfolgen kann. 

Figur 2 zeigt ein Anwendungsbei spiel eines Systems zur Doku- 

10 mentationsverarbeitung fur Service und Wartung. Das System 
besteht aus einem Augmented-Reality-System 10, welches im 
folgenden auch abkurzend als AR-System bezeichnet wird. Das 
AR- System enthalt ein Inf ormationsmodul lb, zur Speicherung 
von Inf ormationsdaten, ein AR-Basissystem 8 sowie ein AR-An- 

15 wendungsmodul . Das AR-System ist iiber eine Netzanbindung 5, 

beispielsweise eine Internetverbindung mit weiteren Speicher- 
mitteln la verbindbar. Die Anwenderkommunikation zwischen ei- 
nem Anwender 7 und dem AR-System 10 erfolgt uber Schnittstel- 
len 8a, 8b . Hierzu weist das AR-System eine Sende-Empf angs- 

20 Vorrichtung auf, die eine bidirektionale Datenkommunikation 
zwischen dem AR-System und dem Anwender 7 uber eine Daten- 
brille 4 entweder direkt uber die Schnittstelle 8a oder iiber 
ein im Bereich des Anwenders 7 angeordnete Funk-Sende-Emp- 
fangs-Einrichtung 6 mit einer Schnittstelle 8b zurn Anwender 7 

25 ermoglicht. Bei dem Anwender 7 handelt es sich beispielsweise 
urn einen Servicetechniker , der zur Wartung von Anlagen Al. .An 
eingesetzt wird. Mit Hilfe der Datenbrille 4 ist es fur den 
Anwender 7 moglich, sich frei in den Anlagen Al..An zu bewe- 
gen. 

30 

Die Funktionsweise des in Figur 3 darges tellten Systems ent- 
spricht im wesent lichen den bereits im Zusammenhang mit Figur 
1 erl&uterten Funktionsweisen . Der Anwender 7 betrachtet bei- 
spielsweise eine einzelne Anlagenkomponente . Mit Hilfe der 
3 5 auf der Datenbrille 4 angeordneten Kamera, die als Erfas- 

sungsmittel dient, werden die realen Inf ormationen an das AR- 
System 10 iibertragen. Dort erfolgt eine Auswertung der realen 
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Inf ormationen und ein Zugriff auf die in den ersten Speicher- 
mitteln la oder den zweiten Speichermitteln lb gespeicherten 
Dokumentationsdaten. Die Dokumentationsdaten werden dem An- 
wender 7 uber eine in der Datenbrille 4 angeordnete Visuali- 
5 sierungseinrichtung visualisiert und objektorientiert und si- 
tuationsgerecht zur Verfugung gestellt. 

Figur 3 zeigt ein Anwendungsbeispiel fur einen situationsge- 
rechten Zugriff auf Dokumentationsdaten. Hierzu ist in einem 

10 linken Bildausschnitt Bl ein Blick auf Rohrleitungen darge- 
stellt, die mit einen in einem Bildfenster B2 dargestellten 
Datenbrille 4 betrachtet werden konnen. An der Datenbrille 4 
sind Erf assungsmittel 2, beispielsweise in Form einer Video- 
kamera angeordnet. Im linken Bild Bl sind zwei Punkte PI, P2 

15 markiert, die jeweils zwei mit Hilfe der Datenbrille 4 be- 

trachtete Bildausschnitte reprasentieren. Bei Betrachtung des 
ersten Punktes PI, d.h. bei Betrachtung der im Bereich des 
Punktes PI angeordneten Rohrleitung werden dem Anwender 7 Zu- 
satzinf ormationen in der Datenbrille 4 visualisiert. Diese 

20 Zusatzinf ormationen 111, 112 bestehen aus Dokumentationsda- 
ten, die beziiglich des ersten Punktes Pi Arbeit sanweisungen 
beziiglich dieses Rohrstiicks enthalten und beziiglich des Punk- 
te P2 die in einem zweiten Schritt durchzuf tthrende Installa- 
tions anwei sung beinhalten. Die Installationsanweisung besteht 

25 in diesem Fall darin, da£ dem Anwender 7 das Drehmoment und 
die Drehrichtung der Schraubverbindung des Punktes P2 iiber 
die Visualisierung E12 mitgeteilt wird. An der Datenbrille 4 
ist dariiber hinaus ein Mikrofon 11 angeordnet, uber das der 
Anwender sprachgesteuert eine gezielte Auswahl der 

3 0 Dokumentationsdaten untersttitzen kann. 

Im folgenden werden Hintergrundinf ormationen zu Einsatzgebiet 
der Erfindung gegeben: Es geht dabei um eine anwendungsorien- 
tierte Anf orderungsanalyse und Entwicklung von AR-basierten 
3 5 Systemen zur Unterstutzung von Arbeitsprozessen in Entwick- 
lung, Produktion und Service komplexer technischer Produkte 
und Anlagen in der Fertigungs- und Verf ahrenstechnik, sowie 
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fur Systeme zur Service.untersttitzung wie bei Kraf tf ahrzeugen 
Oder fiir die Wartung beliebiger technischer Gerate . 



Augmented Reality, kurz AR, ist eine neue Art der Mensch- 
5 Technik-Interaktion mit grofiem Potential zur Unterstiitzung 
von industriellen Arbeitsprozessen . Bei dieser Technologie 
wird das Sichtfeld des Betrachters mit rechnergenerierten 
virtuellen Objekten angereichert , so da£ Produkt- bzw. Pro- 
ze£inf ormationen intuitiv genutzt werden k6nnen. Neben der 
10 sehr einfachen Interaktion erschliefct der Einsatz tragbarer 
Computer AR-Anwendungsf elder mit hohen Mobilitatsanf orde- 
rungen, wenn beispielsweise Prozefi-, Me£- oder Simulationsda- 
ten an das reale Objekt geknupft werden. 



15 Die Situation der deutschen Industrie ist durch steigende 

Kundenanf orderungen an Individuality und Qualitat der Pro- 
dukte sowie durch eine wesentliche Zeitverkurzung der Entste- 
hungsprozesse gekennzeichnet . Insbesondere in Entwicklung, 
Produktion und Service komplexer technischer Produkte und An- 

20 lagen konnen mit innovativen Losungen fur die Mensch-Technik- 
Interaktion sowohl Effizienz- und Produktivitatsspriinge er- 
zielt werden, als auch die Arbeit kompetenz- und lernforderl- 
ich gestaltet werden, indem der Wissens- und Inf ormationsbe- 
darf der Benutzer auf der Basis ohnehin vorliegender Daten 

25 situationsgerecht unterstiitzt wird. 

Augmented Reality ist eine Technologie mit einer Vielzahl 
innovativer Anwendungsf elder : 

o So kann z.B. in der Entwicklung ein „Mixed Mock-Up" -Ansatz 
auf der Grundlage einer gemischt-virtuellen Umgebung die 

30 friihen Entwicklungsphasen deutlich beschleunigen. Gegenu- 

ber immersiven, d.h. eintauchenden, „ Virtual Reality" - 
(VR) -LSsungen besteht fttr den Benutzer ein wesentlicher 
Vorteil darin, da£ die haptischen Eigenschaf ten mit Hilfe 
eines realen Modells naturgetreu abgebildet werden konnen, 

35 hingegen Aspekte der visuellen Wahrnehmung, z.B. fiir An- 
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zeigenvarianten, virtuell manipulierbar sind. Daruber 
hinaus besteht ein grofies Potential zur benutzerorientier- 
ten Validierung rechnergestiitzter Modelle, z.B. fiir die 
Bauteilverif ikation oder bei Crash-Tests. 

o in der f lexiblen Prodtiktion kann unter anderem das Ein- 
richten von Maschinen fiir qualif izierte Facharbeiter we- 
sentlich erleichtert werden, indem, z.B. durch mobile AR- 
Komponenten, gemischt-virtuelle Spannsituationen direkt im 
Sichtfeld wiedergegeben werden. Eine f acharbeitergerechte 
Fertigungsplanung und Fertigungssteuerung in der Werkstatt 
wird erleichtert, wenn Inf ormationen iiber den jeweiligen 
Auf tragsstatus direkt in Verbindung mit den dazugehorigen 
Produkten vor Ort wahrgenommen werden. Das gleiche gilt 
auch fiir die Montage, wobei dem Monteur bereits in der 
Trainingsphase die einzelnen Arbeitsschritte gemischt- vir- 
tuell prasentierbar sind. In diesem Zusammenhang konnen, 
z.B. durch den Vergleich realer Montageablauf e mit Simula- 
tionsergebnissen, umfassende Optimierungen erreicht wer- 
den, die sowohl die Qualitat der Arbeitsplanung verbessern 
als auch den Montageprozefc in der kritischen Anlaufphase 
vereinfachen und beschleunigen . 

o Letztlich geniigen im Service herkommliche Technologien 
kaum mehr, um die komplexen Diagnose- und Behebungsproze- 
duren zu unterstutzen und zu dokumentieren. Da diese Pro- 
zesse in vielen Bereichen aber ohnehin auf Basis von digi- 
talen Daten geplant werden, bieten AR-Technologien die 
M6glichkeit, die Inf ormationsquellen fiir die Wartung zu 
ubernehmen und einem Techniker, z.B. in der Datenbrille, 
durch die Uberlagerung mit realen Objekten den Ausbauvor- 
gang zu erlautern. Mit Bezug auf kooperative Arbeit ermog- 
licht das AR-gestiitzte ^Fernauge" eine verteilte Problem- 
losung, indem ein entfernter Experte mit dem Mitarbeiter 
vor Ort iiber globale Distanzen hinweg kommuniziert . Dieser 
Fall ist besonders fiir die uberwiegend mittelst&ndischen 
Werkzeugmaschinenhersteller relevant. Sie sind durch die 
Globalisierung gezwungen, Produktionsstatten ihrer Kunden 
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weltweit zu errichten. Jedoch ist eine Prasenz von Nieder- 
lassungen in alien wichtigen Markten weder aus wirtschaft- 
lichen Grunden realisierbar , noch kann auf das profunde 
Wissen erfahrener Service-Mitarbeiter des Stammhauses 
5 bzgl. der zunehmend komplexer werdenden Anlagen verzichtet 

werden . 

Die Besonderheit in der Mensch-Technik-Interaktion bei 
Augmented Reality liegt in einer sehr einfachen und intuiti- 
ven Kommunikation mit dem Computer, beispielsweise erganzt 

10 durch multimodale Interaktionstechniken wie Sprachverarbei- 
tung oder Gestikerkennung . Die Verwendung von tragbaren Com- 
putereinheiten ermoglicht daruber hinaus vollig neue mobile 
Nutzungsszenarien, wobei die spezifischen Daten jederzeit 
iiber ein drahtloses Netz angefordert werden konnen. Neue Vi- 

15 sualisierungstechniken erlauben eine direkte Annotation, z.B. 
von Me£- oder Simulationsdaten, an das reale Objekt oder in 
die reale Umgebung. In Verbindung mit verteilten Anwendungen 
sind mehrere Benutzer in der Lage, in einer realen Umgebung 
mit Hilfe einer gemeinsamen Datenbasis zu arbeiten (shared 

2 0 augmented environments) oder in verschiedenen Umgebungen AR- 

gestutzt zu kodperieren. 

Augmented Reality wird erst seit wenigen Jahren intensiv er- 
forscht. Deshalb finden sich sowohl auf nationaler als auch 
internationaler Ebene nur wenige Anwendungen, zumeist in Form 
25 von wissenschaf tlichen Prototypen bei Forschungseinrich- 
tungen . 

° USA: Wie bei vielen neuen Technologien wurden die 
Nut zungspo tent iale von Augmented Reality zuerst in 
Nordamerika erschlossen. Beispiele sind die Cockpit- 

3 0 gestaltung oder die Wartung von mechatronischen Gera- 

ten. Der Flugzeughersteller Boeing hat bereits erste 
Feldversuche im Bereich der Montage mit AR-Technolo- 
gien unternommen. Ergebnis ist, date den USA auch in 
diesem Hightech-Bereich eine SchlUsselstellung zu- 
35 kommt, die mit einer moglichen Technologief tihrer- 

schaf t einhergeht . 



j 
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o Japan: In Japan werden verschiedene AR-Entwicklungen 
vorangetrieben, z.B. zur gemischt-virtuellen Gebaude- 
planung, Teleprasenz oder „ Cyber- Shopping * . Keimzelle 
ist das 1997 gegriindete Mixed Reality Systems Labora- 
5 tory, das als Kompetenzzentrum gemeinsam von Wirt- 

schaft und Wissenschaft getragen wird. Besondere Im- 
pulse im Konsumguterbereich sind zukunftig durch die 
japanische Industrie fur Unterhaltungselektronik zu 
erwarten. 

10 o Europa: In Europa sind bislang nur sehr wenige For- 

schergruppen im AR-Bereich tatig. Eine Gruppe an der 
Universitat Wien befafit sich mit Ansatzen fur die ge- 
mischt-reale Visualisierung . Die Gruppe des IGD hat 
im Rahmen des inzwischen ausgelauf enen ACTS-Projektes 

15 CICC erste Anwendungen far die Bauindustrie und einen 

wissenschaf tlichen Prototypen zur Mitarbeiterschulung 
im Automobilbau entwickelt. 

Die im Erf indung versteht sich insbesondere im speziellen 
Kontext der Anwendungsf elder "Produktions- und Werkzeugma- 
20 schinen" (NC-gesteuerte, automatisierungstechnische Prozesse) 
sowie " Diagnose- /Serviceunters tut zungssysteme fur komplexe 
technische Komponenten/Gerate/Systeme" (z.B. Fahrzeuge, aber 
auch industrielle Maschinen und Anlagen) 



25 Zur Unterstutzung bei der Komplexitat und Vielfalt der Gera- 
te/Systeme/Anlagen, die von Servicemitarbeitern/Facharbeitern 
(im folgenden „ Personal") in den Phasen vom Systemauf bau/In- 
betriebsetzung bis zur Wartung beherrscht werden mu£, liegen 
heutzutage zumeist umfangreiche Dokumentationen vor. Im ein- 

3 0 zelnen handelt es sich hier urn Handbucher, System- und Funk- 
tionsbeschreibungen, Installationshinweise, etc. Je nach An- 
wendung ergibt sich eine groSe Inf ormationsvielf alt ; der Zu- 
grif f auf die in konkreten Arbeitssituationen relevanten Be- 
schreibungen ist oft mit erheblichem Auf wand verbunden. 
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Neben der Problematik einer geeigneten Unterstlitzung des In- 
formationszugrif f s ist heute keine adaquate Strukturierung 
der Dokumentation gegeben, die eine selektive Nutzung durch 
intelligentere Systeme, wie auf Basis von AR-Technologien, 
5 gezielt unterstlitzt. Derartige Systeme benotigen den Zugriff 
auf ausgewahlte Inf ormationsdetails , die situationsgerecht 
dem Anwender zur Verfugung gestellt werden. Auch in der elek- 
tronisch bereitgestellten Dokumentation erfolgt die Orien- 
tierung heute noch im wesentlichen an der Papierform. 

10 Die Erfindung betrifft die geeignete Strukturierung und Be- 
reitstellung von Dokumentation fur die Nutzung durch intel- 
ligenter Unterstlitzungssysteme im oben genannten Sinn. 



Dokumentationen werden schon heute elektronisch verfligbar ge- 
15 macht. Mit einer geeigneten Strukturierung der Dokumente und 
adaquaten Zugriff smechanismen (u.a. Hyperlinks) wird der DV- 
technische Zugang noch verbessert. 

Erf indungsgema£ wird der Inf ormationsgehalt der Dokumentation 
20 in unterscheidbare Einheiten gegliedert, wobei die Separation 
wesentlich unterstlitzt zu unterscheiden zwischen Daten, die 
auch auf realer Information basieren (d.h. beobachtbarer In- 
formation - z.B. Objektbild) und Daten, die Zusatzinf ormation 
darstellen (z.B. Objekteigenschaf ten, objektbezogene Hantie- 
25 rungshinweise, Konstruktionsanleitungen, etc.). 

Durch eine solche „mehrschichtige u Strukturierung der Doku- 
mentation wird die enthaltene Information selektiv verfligbar 
gemacht . 

30 

Insgesamt kommt es zur Bereitstellung eines Systems, das die 
datentechnische Strukturierung und Nutzung von Dokumentation 
in folgendem Sinn unterstlitzt: 

o Die Dokumentation ist in mehreren Schichten (oder auch 
35 „Ebenen") organisiert; beispielsweise sind ein oder meh- 
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rere „statische Ebenen" vorstellbar (Skizzen, Bilder, Vi- 
deos, . ..) und dariiberhinaus ein oder mehrere „Animations- 
ebenen" ( Zusat zinf ormat ionen ) mit unterschiedlich detail- 
liertem und klassif izierten Inf ormat ionsgeha It . 

5 o Damit liegt eine Trennung des Inf ormationsgehalts vor hin- 
sichtlich dessen „was ohnehin sichtbar ist" (die gegebene 
Realitat im Anwendungsf all ) und dem ff was zusatzlich nlitz- 
lich ist" (Zusatzinf ormation / Inf ormationsde tails) . 

o Der Zugriff auf die Information ist objektorientiert mog- 
10 lich, urn situationsgerecht schnellen Zugang zu den bend- 

tig ten Da ten zu haben. 



Ein Ausfiihrungsbeispiel kommt im Kontext Nutzung AR-basierter 
Technologien mit automat ischer Umgebungsidektif ikation zum 
15 Einsatz: Die Darstellung eines Rohrleitungssystems , beispiel- 
haft der Mittelteil im Rumpf eines Flugzeug, entspricht in 
diesem Fall der gegebenen Realitat, die der Werker in seinem 
Einsatzumf eld vorfindet. Diese Situation wird vom Unterstut- 
zungssystem z.B. durch eine Kamera wahrgenommen/auf gezeichnet 

2 0 und dient u.a. zur Ermittlung des Einsatzkontextes („ welches 

Objekt betrachtet der Werker?"). Daraus leitet das AR-System 
die Zusatzinf ormation ab, die nun situations-entsprechend der 
mehrschichtig vorliegenden Dokumentation entnommen wird (d.h. 
zugeordnet dem beobachteten Objekt) . Diese Zusatzinf ormation 
25 wird nun durch das Unterstiitzungs-System, in passender Uber- 
deckung mit dem Realbild, dem Anwender ins Sichtfeld einge- 
blendet, z.B. die durchzuf iihrenden Arbeitsschritte . 

Ein weiteres Ausfiihrungsbeispiel besteht im Kontext eher her- 
30 kommlicher Dokumentationsnutzung : Der Benutzer hat die Anwen- 
dungssituation selbst identif iziert und dem UnterstUtzungs- 
system vermittelt (z.B. durch BarCode- Identif ikation oder 
herkommliche DV-technisch unterstatzte Auswahlmechanismen) . 
Aus der mehrschichtig vorliegenden Dokumentationsbasis wird 

3 5 nun situtationsgem&£ ein statisch vorliegendes Bild bzw. Vi- 
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deo genutzt. Das Unterstiitzungssystem des Anwenders selek- 
tiert wiederum automatisch Zusatzinf ormation aus der mehr- 
schichtigen Dokumentation, die aus einer weiteren, dem Situa- 
tionsobjekt zugeordneten Ebene entstammt. Die Presentation im 
5 Sichtfeld des Benutzers erfolgt nun durch Oberlagerung dieser 
Inf ormationsschichten (Bilder /Videos sowie Zusatzinf orma- 
tion) . 

Im Fall von Abbildung 3 wurde beispielsweise eine Trennung 
von Inf ormationen wie folgt vorliegen: 

10 o reale, beobachtbare Information ware in diesem Fall die 
Darstellung der Rohrleitungen im Hintergrund - dokumen- 
tiert entweder als statisches Bild oder auch als Video 

o durch Zugriff auf eine separate Schicht der Dokumentation 
liegen die Daten der einblendbaren Hantierungshinweise vor 

15 o wiederum separiert davon liegen Detailinf ormationen fur 

die Durchfuhrung des Arbeitsvorgangs oder technische Daten 
flir das hantierte Objekt („zu montierende Rohrleitung" ) 
vor . 

2 0 Ein Einsatzgebiet besteht im Bereich Entwicklung, Produktion 
und Service auf der Basis von durchsichtigen Datenbrillen in 
Verbindung mit tragbaren Computern, als Beispielszenario fur 
Augmented Reality-untersttitzte Produktion oder als Augmented 
Reality fur Service und Wartung. 

25 

Zusammenf assend betrif ft die Erfindung somit System und ein 
Verfahren zur Dokumentationsverarbeitung insbesondere fiir 
technische und industrielle Anwendungen mit Speichermitteln 1 
zur Speicherung von Dokumentationsdaten II.. In in mehreren 

30 Ebenen El.. Em und mit Erf assungsmitteln 2 zur Erfassung von 
realen Inf ormationen R, mit Zugriff smitteln zum Zugriff auf 
die Dokumentationsdaten II.. In und mit Auswertemitteln A zur 
Auswertung der realen Information R und zur Auswahl der ge- 
speicherten Dokumentationsdaten in Abh&ngigkeit der realen 

35 Inf ormationen R. Hierdurch wird beispielsweise fur Servicean- 
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wendungen vor Ort, d.h.. beispielsweise am Ort einer Automat i- 
sierungsanlage durch die Einbindung der Dokumentationsdaten 
II.. In als Augmented-Reality ein strukturierter und selekti- 
ver Zugriff auf die Dokumentationsdaten ermoglicht. 
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Patentanspruche 

1. System zur Dokumentationsverarbeitung insbesondere ftir 
technische und industrielle Anwendungen rait Speichermitteln 

5 (1) zur Speicherung von Dokumentationsdaten (II.. In) in meh- 
reren Ebenen (El.. Em) und mit Erf assungsmitteln (2) zur Er- 
fassung von realen Informationen (R) , mit Zugrif f smitteln zum 
Zugriff auf die Dokumentationsdaten (II.. In) und mit Auswer- 
temitteln (A) zur Auswertung der realen Information (R) und 
10 zur Auswahl der gespeicherten Dokumentationsdaten in Abh&n- 
gigkeit der realen Informationen (R) . 

2. System nach Anspruch 1, 

dadurch gekennzeichnet, 
15 dalS die Dokumentationsdaten (II.. In) objektorientiert gespei- 
chert sind. 

3. System nach einem der Ansprttche 1 Oder 2, 
dadurch gekennzeichnet, 

20 da£ die Erf assungsmittel (2) eine Bildauf nahmevorrichtung 

aufweisen, daS die Auswertemittel (A) zur Auswertung der rea- 
len Information (R) in der Weise vorgesehen sind, daS aus der 
realen Information ein Eisatzkontext , insbesondere ein Objekt 
der Dokumentationsdaten (II.. In) ermittelt wird und dafc das 

25 System Visualisierungsmittel (B) zur Visualisierung der Doku- 
mentationsdaten aufweist. 

4. System nach einem der Anspruche 1 bis 3, 
dadurch gekennzeichnet, 

30 da£ die Erf assungsmittel (2) anwendergesteuert sind und ins- 
besondere als sprachgesteuerte Erf assungsmittel und/oder 
durch Steuerdaten gesteuerte Erf assungsmittel ausgebildet 
sind. 
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5. System nach einem der Ansprliche 1 bis 4, 
dadurch gekennzeichnet, 

dalS die Erf assungsmittel (2) und/oder die Visualisierungs- 
mittel als Datenbrille ausgebildet sind. 

5 

6. Verfahren zur Dokumentationsverarbeitung insbesondere far 
technische und industrielle Anwendungen, bei dem Dokumenta- 
tionsdaten (II.. In) in mehreren Ebenen (El.. Em) gespeichert 
werden und reale Inf ormationen (R) mit Erf assungsmitteln (2) 

10 erfafet werden, bei dem auf die Dokumentationsdaten (II.. In) 
in der Weise zugegriffen wird, da£ die realen Inf ormationen 
(R) ausgewertet werden und in Abhangigkeit der realen Infor- 
mationen (R) die gespeicherten Dokumentationsdaten (II.. In) 
ausgewahlt werden. 

15 

7. Verfahren nach Anspruch 6, 
dadurch gekennzeichnet, 

daS die Dokumentationsdaten (II.. In) objektorientiert gespei- 
chert sind. 

20 

8 . Verfahren nach einem der Anspruche 6 oder 7 , 
dadurch gekennzeichnet, 
da& die realen Inf ormationen mittels einer 

Bildaufnahmevorrichtung erfafct werden, da£ aus der realen In- 
25 formation ein Eisatzkontext , insbesondere ein Objekt der Do- 
kumentationsdaten (II.. In) ermittelt wird und dafi die ermit- 
telten Dokumentationsdaten (II.. In) uber Visualisierungsmit- 
tel (B) visualisiert werden. 

3 0 9. Verfahren nach einem der Anspruche 6 bis 8, 
dadurch gekennzeichnet, 

da£ die Erf assungsmittel (2) anwendergesteuert sind und ins- 
besondere als sprachgesteuerte Erf assungsmittel und/oder 
durch Steuerdaten gesteuerte Erf assungsmittel ausgebildet 
35 sind. 
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10. Verfahren nach einem der Ansprtiche 6 bis 9, 
dadurch gekennzeichnet, 

daS die Erf assungsmittel (2) und/oder die Visualisierungsmit- 
tel als Datenbrille ausgebildet sind. 
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